Recentemente, a comunidade Modelers lançou oficialmente os modelos multimodais de código aberto Step-Video e Step-Audio, desenvolvidos pela Step-Video. Esses dois modelos são usados, respectivamente, para geração de vídeo e interação de voz, com o objetivo de fornecer ferramentas de IA mais poderosas para desenvolvedores e empresas. O modelo Step-Video, com o nome completo Step-Video-T2V, é um modelo de geração de vídeo de código aberto com 30 bilhões de parâmetros, o maior do mundo. O modelo pode gerar diretamente vídeos de 20...

Nos últimos anos, a inteligência artificial (IA) tem apresentado avanços significativos, mas ainda existem desafios na conciliação entre eficiência computacional e multifuncionalidade. Muitos modelos multimodais avançados, como o GPT-4, geralmente exigem recursos computacionais substanciais, o que limita seu uso a servidores de alta capacidade, dificultando a utilização eficaz de tecnologias de inteligência em dispositivos de borda, como smartphones e tablets. Além disso, o processamento em tempo real de tarefas como análise de vídeo ou conversão de voz para texto ainda enfrenta obstáculos tecnológicos, destacando a necessidade de modelos de IA eficientes e flexíveis para permitir uma operação perfeita em condições de hardware limitadas.

Recentemente, o Meta lançou discretamente seis resultados de pesquisa, trazendo novas aplicações e avanços tecnológicos para o campo da IA. Isso inclui um modelo multi-modal, um modelo de geração de música a partir de texto, uma tecnologia de marca d'água de áudio e conjuntos de dados, entre outros projetos. Vamos dar uma olhada no que esses resultados de pesquisa são exatamente.

O Qwen-VL é um modelo de linguagem visual em larga escala lançado pela Alibaba Cloud que suporta entrada de texto e imagem. Em comparação com outros modelos de linguagem visual, o Qwen-VL adicionou recursos como localização visual e compreensão de texto em imagens. O Qwen-VL já obteve mais de 3400 estrelas no GitHub e mais de 400.000 downloads.